关于自适应梯度方法等自适应梯度方法等训练动力的知之甚少。在本文中，我们阐明了这些算法在全批处理和足够大的批处理设置中的行为。具体而言，我们从经验上证明，在全批训练中，预处理的Hessian的最大特征值通常在某个数值下平衡 - 梯度下降算法的稳定性阈值。对于带有步长$ \ eta $和$ \ beta_1 = 0.9 $的Adam，此稳定性阈值为$ 38/\ eta $。在Minibatch培训期间发生了类似的影响，尤其是随着批处理大小的增长。然而，即使自适应方法在``稳定性的自适应边缘''（AEOS）上训练，但它们在该制度中的行为与EOS的非自适应方法的行为有很大不同。 EOS处的非自适应算法被阻止进入损失景观的高曲率区域，而AEOS的自适应梯度方法可以继续前进到高外观区域，同时适应预先调节器以补偿。我们的发现可以成为社区对深度学习中适应性梯度方法的未来理解的基础。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。
translated by 谷歌翻译
在数据挖掘，神经科学和化学计量学在内的各个领域，分析各种数据集中的多路测量结果是一个挑战。例如，测量可能会随着时间的流逝而发展或具有不一致的时间曲线。 PARAFAC2模型已成功地用于分析此类数据，通过在一种模式（即演变模式）下允许基础因子矩阵跨切片进行更改。拟合PARAFAC2模型的传统方法是使用基于最小二乘的交替算法，该算法通过隐式估计不断发展的因子矩阵来处理Parafac2模型的恒定交叉产生约束。这种方法使对这些因素矩阵充满挑战。目前尚无算法可以灵活地将这种正规化施加，并具有一般的惩罚功能和硬性约束。为了应对这一挑战并避免隐性估计，在本文中，我们提出了一种算法，用于拟合PARAFAC2基于与乘数交替方向方法（AO-ADMM）的交替优化拟合parafac2。通过在模拟数据上进行数值实验，我们表明所提出的PARAFAC2 AO-ADMM方法允许灵活约束，准确地恢复了基础模式，并且与先进的ART相比，计算有效。我们还将模型应用于神经科学和化学计量学的两个现实世界数据集，并表明限制发展模式可改善提取模式的解释性。
translated by 谷歌翻译
在依赖添加剂线性组合的模型中，出现了多个右侧（MNNL）的非负平方问题。特别是，它们是大多数非负矩阵分解算法的核心，并且具有许多应用。已知非负约束自然有利于稀疏性，即几乎没有零条目的解决方案。但是，它通常可以进一步增强这种稀疏性很有用，因为它可以提高结果的解释性并有助于减少噪声，从而导致稀疏的MNNL问题。在本文中，与大多数实施稀疏柱或行的大多数作品相反，我们首先引入了稀疏MNNL的新颖配方，并具有矩阵的稀疏性约束。然后，我们提出了一种两步算法来解决这个问题。第一步将稀疏的MNNL划分为子问题，每列的原始问题一列。然后，它使用不同的算法来确切或大约为每个子问题产生一个帕累托正面，即产生一组代表重建误差和稀疏性之间不同权衡的解决方案。第二步选择了这些帕累托前部之间的解决方案，以构建一个稀疏约束矩阵，以最大程度地减少重建误差。我们对面部和高光谱图像进行实验，我们表明我们提出的两步方法比最新的稀疏编码启发式方法提供了更准确的结果。
translated by 谷歌翻译
我们引入了一种新的文化学习范式，以测量在推理过程中学习新颖单词的大型语言模型（LLMS）。特别是，我们通过用一个合成但合理的词代替关键概念词来重写Winograd风格的共同参考分辨率问题，该词必须理解该模型以完成任务。解决此任务需要模型来利用提示中给出的新单词的字典定义。这个基准介绍了单词获取，这是折磨llms已知的历时降解的一个重要方面。由于LLM在训练的那一刻及时被冻结，因此通常无法反映语言随着时间的变化方式。我们表明，与原始Winograd任务相比，LLM的准确性在我们的基准测试中从根本上降低，从而确定了当前模型的局限性，并提供了基准来衡量LLMS的未来改善LLMS进行内在学习的能力。
translated by 谷歌翻译
某些培训干预措施（例如提高学习率和应用批归归式化）的机制提高了深网的概括仍然是一个谜。先前的作品猜测，“扁平”解决方案比“更清晰”的解决方案更好地概括了看不见的数据，激发了几个指标来测量平坦度（尤其是损失Hessian最大的特征值）；和算法，例如清晰度最小化（SAM）[1]，它们直接优化了平坦度。其他作品质疑$ \ lambda_ {max} $与概括之间的链接。在本文中，我们提出了调用$ \ lambda_ {max} $对概括的影响的发现。我们表明：（1）虽然较大的学习率减少了所有批量尺寸的$ \ lambda_ {max} $，但概括益处有时会在较大的批量尺寸下消失； （2）通过同时缩放批量的大小和学习率，我们可以更改$ \ lambda_ {max} $，而不会影响概括； （3）虽然SAM生产较小的$ \ lambda_ {max} $，用于所有批次尺寸，概括益处（也）消失，较大的批量尺寸； （4）对于辍学，过高的辍学概率可能会降低概括，即使它们促进了较小的$ \ lambda_ {max} $； （5）虽然批处理范围并未始终产生较小的$ \ lambda_ {max} $，但它仍然赋予概括性优势。尽管我们的实验肯定了大型学习率和SAM对Minibatch SGD的概括优势，但GD-SGD差异证明了对$ \ lambda_ {Max} $解释神经网络中概括的能力的限制。
translated by 谷歌翻译
尽管电子健康记录是生物医学研究的丰富数据来源，但这些系统并未在医疗环境中统一地实施，并且由于医疗保健碎片化和孤立的电子健康记录之间缺乏互操作性，可能缺少大量数据。考虑到缺少数据的案例的删除可能会在随后的分析中引起严重的偏见，因此，一些作者更喜欢采用多重插补策略来恢复缺失的信息。不幸的是，尽管几项文献作品已经通过使用现在可以自由研究的任何不同的多个归档算法记录了有希望的结果，但尚无共识，MI算法效果最好。除了选择MI策略之外，归纳算法及其应用程序设置的选择也至关重要且具有挑战性。在本文中，受鲁宾和范布伦的开创性作品的启发，我们提出了一个方法学框架，可以应用于评估和比较多种多个插补技术，旨在选择用于计算临床研究工作中最有效的推断。我们的框架已被应用于验证和扩展较大的队列，这是我们在先前的文献研究中提出的结果，我们在其中评估了关键患者的描述符和Covid-19的影响在2型糖尿病患者中的影响，其数据为2型糖尿病，其数据为2型糖尿病由国家共同队列合作飞地提供。
translated by 谷歌翻译
非负Tucker分解（NTD），一个张量分解模型，近年来的兴趣增加了兴趣，因为它能够盲目地提取张量数据中的有意义的模式。然而，对计算NTD的现有算法主要是为欧几里德丢失而设计的。另一方面，NTD最近被证明是音乐信息检索的强大工具。这项工作提出了一种乘法更新算法来计算NTD的β发散损耗，通常被认为是音频处理的更好的损失。我们显着展示如何使用Tensor代数来实现有效的乘法规则，这是一个天真的方法是棘手的。最后，我们展示了音乐结构分析任务，即无监督的NTD符合β发散损失的损失优于早期的欧几里德损失获得的结果。
translated by 谷歌翻译
We show how to turn any classifier that classifies well under Gaussian noise into a new classifier that is certifiably robust to adversarial perturbations under the 2 norm. This "randomized smoothing" technique has been proposed recently in the literature, but existing guarantees are loose. We prove a tight robustness guarantee in 2 norm for smoothing with Gaussian noise. We use randomized smoothing to obtain an ImageNet classifier with e.g. a certified top-1 accuracy of 49% under adversarial perturbations with 2 norm less than 0.5 (=127/255). No certified defense has been shown feasible on ImageNet except for smoothing. On smaller-scale datasets where competing approaches to certified 2 robustness are viable, smoothing delivers higher certified accuracies. Our strong empirical results suggest that randomized smoothing is a promising direction for future research into adversarially robust classification. Code and models are available at http: //github.com/locuslab/smoothing.
translated by 谷歌翻译